DM&ML

DM_ML NOTES

DM_TEST

1. 关联分析

2. 数据类型

3. 相似度度量

ML_TEST

attachments

BP链式求导树

Drawing 2024-05-22 14.14.25

Pasted image 20240605230031

Pasted image 20240605230124

Pasted image 20240605230210

Pasted image 20240605230236

Pasted image 20240605230253

Pasted image 20240605230424

Pasted image 20240605230452

Pasted image 20240605230503

Pasted image 20240605230515

Pasted image 20240605230520

Pasted image 20240610132241

Pasted image 20240610132312

Pasted image 20240610132400

Pasted image 20240610132628

Pasted image 20240610132809

Pasted image 20240610132838

Pasted image 20240610133117

Pasted image 20240610133135

Pasted image 20240610133308

Pasted image 20240610133426

Pasted image 20240613120312

Pasted image 20240613143444

Pasted image 20240614144511

Pasted image 20240614145640

Pasted image 20240614194253

Pasted image 20240614195707

cards

采样方法（蒙特卡洛方法）

查准率，查重率与F1

超平面参数的放缩

错误率与精度

单隐层链式求导

得到参数的极大似然估计

对数几率回归

多滤波器（卷积核）情形

多元线性回归

反向传播如何实现？

反向传播如何实现？数学原理？

构造哈希树

广义线性回归

过采样和欠采样

划分样本空间的超平面线性方程描述

混合属性距离

机器学习分类

机器学习算法分类

激活函数的梯度

极大似然估计

接受拒绝采样

解出a后怎么解w和b？

距离的基本性质

卷积神经网络

拉普拉斯修正

连乘导致的属性抹去问题

闵可夫斯基距离

逆变换采样

判别式模型

朴素贝叶斯分类器

浅层学习的局限

缺失值处理

软间隔KKT条件

弱对偶，强对偶

深度学习诞生

深度学习和浅层学习的区别

深度学习减少参数的方法

神经元模型

生成关联规则的剪枝原理

生成式模型

属性独立性假设

特征表示的粒度

梯度消失，梯度爆炸

万有逼近性

误差与拟合

先验概率后验概率

线性判别分析

相似度度量

相似度度量习题

小批量更新

协方差矩阵

样本点到超平面的距离

一元线性回归

预防过拟合

怎么确定(d+l+1)q + l个参数？

支持度计算

支持向量机

重要性采样

转换后要解决的问题

ANN_BP homework

Jensen不等式

k折交叉验证

MP-神经元模型

1. ML大纲 blog

1. ML大纲 canvas

2. 模型评估与选择 canvas

2. 模型选择与评估 blog

3. 线性模型 blog

3. 线性模型 canvas

4. 决策树 blog

4. 决策树 canvas

5. 支持向量机 canvas

6. BP神经网络 blog

6. BP神经网络 canvas

7. 贝叶斯分类器 canvas

8. 集成学习 canvas

9. 聚类 canvas

10. 采样方法 canvas

多元线性回归任务

找到一个使得其中

目标函数

X矩阵
- 把属性向量和1拼到一起
向量
- 把w和b拼到一起
同样使用二次型内积形式 - 选择让内积最少时候的（二次型内积形式）

求解过程

矩阵求导：

$令，对求导：$

先展开：
逐个求导 - 用到的公式： 1. 2. 3. $是对称阵$ 最终得到
令倒数为0得到
- 麻烦来了，涉及矩阵求逆，如果这个玩意不满秩，则可以解出来一大堆

正则化

怎么选择你解出的多个解？

Table Of Contents

多元线性回归任务

矩阵求导：